由“ hyper ”(極端,比平常更大)和“ scale ”(改變大小)這兩個(gè)詞組成,術(shù)語(yǔ) hyperscale 代表了 IT 行業(yè)的可擴(kuò)展性和可用性的黃金標(biāo)準(zhǔn)。具有此類基礎(chǔ)設(shè)施的數(shù)據(jù)中心可以無(wú)縫且經(jīng)濟(jì)高效地運(yùn)行世界上最繁重的工作負(fù)載,滿足無(wú)法在任何其他類型的設(shè)施中運(yùn)行的用例需求。本文探討了超大規(guī)模數(shù)據(jù)中心的核心概念,并展示了它們與傳統(tǒng)托管設(shè)施的區(qū)別。我們還將解釋超大規(guī)模系統(tǒng)的工作原理,并向您介紹超大規(guī)模計(jì)算的主要特征(以及優(yōu)勢(shì))。
什么是超大規(guī)模?
超大規(guī)模是 IT 架構(gòu)的擴(kuò)展能力,可以自動(dòng)、實(shí)時(shí)、無(wú)延遲地響應(yīng)增加或減少的需求。這樣的基礎(chǔ)設(shè)施運(yùn)行在數(shù)以萬(wàn)計(jì)的相同大小的服務(wù)器上,這些服務(wù)器可以自動(dòng)激活和停用以適應(yīng)當(dāng)前的需求。
超大規(guī)模系統(tǒng)背后的主要理念是為最苛刻的 IT 需求集提供最高效和最具成本效益的托管環(huán)境。這樣的基礎(chǔ)設(shè)施幾乎可以立即擴(kuò)展,不僅可以從一臺(tái)服務(wù)器擴(kuò)展到幾臺(tái),還可以從幾百臺(tái)擴(kuò)展到幾千臺(tái)。此功能對(duì)于托管波動(dòng)和需要大量處理的服務(wù)至關(guān)重要,例如:
- 云計(jì)算。
- 視頻流。
- 社交媒體。
- 基于人工智能和機(jī)器學(xué)習(xí)的大型應(yīng)用程序。
- 在線游戲。
超大規(guī)模計(jì)算完全依賴于水平擴(kuò)展(或“向外擴(kuò)展”)。該系統(tǒng)將更多相同大小的服務(wù)器添加到集群中,并在更大的設(shè)備池中分擔(dān)工作負(fù)載以滿足不斷增長(zhǎng)的需求。這種策略不同于垂直擴(kuò)展(或“向上擴(kuò)展”),在垂直擴(kuò)展中,您可以改進(jìn)機(jī)器的規(guī)格以提高其性能(例如,為服務(wù)器添加更多內(nèi)存或更好的CPU )。
那么為什么要水平縮放而不是垂直縮放呢?以下是主要原因:
- 使用相同的服務(wù)器可以標(biāo)準(zhǔn)化操作并簡(jiǎn)化日常管理。所有設(shè)備都有相同的更新、安全補(bǔ)丁、操作系統(tǒng)等。
- 每臺(tái)機(jī)器都有一個(gè)用于垂直擴(kuò)展的硬“上限”,之后就無(wú)法再進(jìn)一步升級(jí)設(shè)備。
- 由于規(guī)模經(jīng)濟(jì),從長(zhǎng)遠(yuǎn)來(lái)看,小型、便宜的服務(wù)器更具成本效益。
- 依賴相同的服務(wù)器會(huì)帶來(lái)更一致的性能。
- 水平擴(kuò)展不需要管理員讓機(jī)器離線來(lái)升級(jí)它們。
- 由相同大小的服務(wù)器組成的網(wǎng)絡(luò)很容易避免停機(jī),因?yàn)槿绻慌_(tái)機(jī)器出現(xiàn)故障,相同的節(jié)點(diǎn)會(huì)接管工作負(fù)載。
什么是超大規(guī)模運(yùn)營(yíng)商?
超大規(guī)模運(yùn)營(yíng)商是一個(gè)或多個(gè)數(shù)據(jù)中心的所有者和運(yùn)營(yíng)商,這些數(shù)據(jù)中心容納超大規(guī)模所需的水平鏈接服務(wù)器。市場(chǎng)上最著名的超大規(guī)模提供商是三大領(lǐng)先的公共云提供商(AWS、微軟 Azure 和谷歌云)。像 Facebook 和 Apple 這樣的大公司也擁有以超大規(guī)模方式運(yùn)行服務(wù)的設(shè)施。
以下是超大規(guī)模提供商和常規(guī)提供商之間的主要區(qū)別:
- 超大規(guī)模數(shù)據(jù)中心擁有數(shù)以萬(wàn)計(jì)的服務(wù)器和數(shù) PB 的數(shù)據(jù)存儲(chǔ)空間。相比之下,標(biāo)準(zhǔn)中心和服務(wù)器機(jī)房平均只有幾百到幾千臺(tái)服務(wù)器。
- 由于規(guī)模經(jīng)濟(jì)和商品硬件的使用,超大規(guī)模供應(yīng)商的成本結(jié)構(gòu)較低。這些設(shè)施依賴于更便宜的服務(wù)器,而不是傳統(tǒng)數(shù)據(jù)中心中更復(fù)雜、更昂貴的機(jī)架。
- 得益于節(jié)能設(shè)計(jì)和先進(jìn)的冷卻系統(tǒng),超大規(guī)模服務(wù)器的每臺(tái)服務(wù)器功耗更低。
- 常規(guī)數(shù)據(jù)中心嚴(yán)重依賴手動(dòng)配置和資源管理,而超大規(guī)模數(shù)據(jù)中心則采用高度自動(dòng)化的配置、監(jiān)控和日常操作。
- 常規(guī)數(shù)據(jù)中心提供的按需服務(wù)靈活性較低,并且需要更長(zhǎng)的更改準(zhǔn)備時(shí)間。
- Hyperscalers 在確保高水平的冗余和可用性方面投入更多。
- 平均而言,由于高度自動(dòng)化,超大規(guī)模企業(yè)雇傭的 IT 員工較少。安全團(tuán)隊(duì)成員的數(shù)量通常超過(guò)計(jì)算人員的數(shù)量。
- Hyperscalers 依賴標(biāo)準(zhǔn)化的模塊化設(shè)計(jì),可以輕松擴(kuò)展和升級(jí)。常規(guī)設(shè)施使用定制設(shè)計(jì)的解決方案,這使得擴(kuò)展和升級(jí)變得困難且耗時(shí)。
雖然只有少數(shù)組織有資格成為超大規(guī)模企業(yè),但這些設(shè)施中使用的一些技術(shù)正越來(lái)越多地用于小型數(shù)據(jù)中心,例如:
- 軟件定義網(wǎng)絡(luò) (SDN)。
- 融合基礎(chǔ)設(shè)施。
- 微細(xì)分。
超大規(guī)模計(jì)算如何工作?
超大規(guī)模計(jì)算將數(shù)萬(wàn)(或更多)小型、簡(jiǎn)單的服務(wù)器組合在一起,并將它們橫向聯(lián)網(wǎng)。“簡(jiǎn)單”并不意味著原始,只是服務(wù)器有一些基本的約定(例如,網(wǎng)絡(luò)協(xié)議)來(lái)制作它們:
- 易于聯(lián)網(wǎng)和管理。
- 反應(yīng)靈敏,能夠滿足不斷變化的容量需求。
- 作為一個(gè)群體更容錯(cuò)。
這些服務(wù)器在虛擬機(jī) (VM)中運(yùn)行應(yīng)用程序,虛擬機(jī)是依賴軟件定義資源而不是專用硬件的計(jì)算環(huán)境。一臺(tái)服務(wù)器可以托管多個(gè) VM 并使每個(gè) VM 獨(dú)立運(yùn)行,這允許工作負(fù)載在硬件之間移動(dòng)而不會(huì)出現(xiàn)錯(cuò)誤或減速。
每個(gè)超大規(guī)模網(wǎng)絡(luò)都包含一個(gè)負(fù)載均衡器,它不斷地重新分配計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。該設(shè)備管理所有傳入的網(wǎng)絡(luò)請(qǐng)求,并將它們路由到容量最大的服務(wù)器。平衡器持續(xù)監(jiān)控每個(gè)服務(wù)器上的負(fù)載,根據(jù)當(dāng)前需要處理的數(shù)據(jù)量打開(kāi)或關(guān)閉它們:
- 如果負(fù)載平衡器檢測(cè)到對(duì)工作負(fù)載的需求增加,它會(huì)將服務(wù)器添加到當(dāng)前的專用池中。
- 一旦需求下降,平衡器就會(huì)從池中移除服務(wù)器,要么關(guān)閉它們,要么將它們重新分配給另一個(gè)工作負(fù)載。
此過(guò)程實(shí)時(shí)進(jìn)行,以最大限度地提高成本效益(對(duì)用戶和設(shè)施所有者而言)。自動(dòng)化是超大規(guī)模計(jì)算的重要組成部分,因?yàn)椴豢赡苁謩?dòng)協(xié)調(diào)通常跨越一個(gè)設(shè)施的數(shù)千臺(tái)服務(wù)器。超大規(guī)模系統(tǒng)還需要頂層網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)這種高度分布式和可擴(kuò)展的架構(gòu)。超高速、高光纖數(shù)網(wǎng)絡(luò)連接服務(wù)器、負(fù)載平衡器和所有互連的數(shù)據(jù)中心。
什么是超大規(guī)模數(shù)據(jù)中心?
超大規(guī)模數(shù)據(jù)中心是容納超大規(guī)模計(jì)算設(shè)備的設(shè)施。2021 年,官方公布的超大規(guī)模數(shù)據(jù)中心數(shù)量為 728 個(gè)。專家預(yù)測(cè),到 2026 年,這一數(shù)字將達(dá)到 1000 個(gè)大關(guān)。
雖然沒(méi)有官方標(biāo)準(zhǔn),但平均超大規(guī)模設(shè)施是:
- 至少 10,000 平方英尺(盡管有更大的設(shè)施,例如 Microsoft 的 Northlake 數(shù)據(jù)中心占地 700,000 平方英尺或 Apple 的 Mesa 數(shù)據(jù)中心占地 1.3 平方英尺)
- 擁有至少 5,000 臺(tái)專用服務(wù)器。
- 存儲(chǔ)數(shù)百拍字節(jié) (PB) 的數(shù)據(jù)。
- 提供至少 40 Gbps 的網(wǎng)絡(luò)連接。
- 每年消耗超過(guò)50MW。
大多數(shù)超大規(guī)模系統(tǒng)在統(tǒng)一的設(shè)施網(wǎng)絡(luò)中運(yùn)行,而不是在一棟建筑物中運(yùn)行。這些數(shù)據(jù)中心群作為高度連接的集群運(yùn)行。一些中心相鄰,而另一些則相距數(shù)千英里——這種距離使公司能夠:
- 降低局部停電和網(wǎng)絡(luò)攻擊的影響。
- 從附近的設(shè)施為所有客戶提供服務(wù),以確保快速響應(yīng)時(shí)間。
以下是超大規(guī)模數(shù)據(jù)中心的特征:
- 規(guī)模:超大規(guī)模數(shù)據(jù)中心是通常容納數(shù)萬(wàn)臺(tái)服務(wù)器的大型設(shè)施。
- 可擴(kuò)展性:超大規(guī)模數(shù)據(jù)中心內(nèi)的設(shè)備有一個(gè)主要目標(biāo):盡可能快速且高度可擴(kuò)展。
- 高度模塊化設(shè)計(jì):這些設(shè)施依賴于精簡(jiǎn)的硬件,可以輕松擴(kuò)展。
- 更低的價(jià)格:這些設(shè)施利用規(guī)模經(jīng)濟(jì)以低于常規(guī)數(shù)據(jù)中心對(duì)相同資源收取的費(fèi)用提供服務(wù)。
- 范圍:超大規(guī)模數(shù)據(jù)中心始終是全球網(wǎng)絡(luò)的一部分,提供從世界任何地方訪問(wèn)資源的途徑。
- 自動(dòng)化:這些數(shù)據(jù)中心在配置、監(jiān)控和管理資源時(shí)采用高度自動(dòng)化。
- 冗余:設(shè)施采用多層冗余以確保高服務(wù)可靠性。
超大規(guī)模的好處
如果您有合適的用例,超大規(guī)模計(jì)算可提供其他托管解決方案無(wú)法提供的一系列優(yōu)勢(shì)。以下是依賴超大規(guī)模計(jì)算的主要優(yōu)勢(shì):
- 沒(méi)有實(shí)際可實(shí)現(xiàn)的擴(kuò)展上限,因此在高需求時(shí)不存在資源耗盡的風(fēng)險(xiǎn)。
- 由于頂層冗余會(huì)在出現(xiàn)錯(cuò)誤時(shí)自動(dòng)自我修復(fù)系統(tǒng),因此最終用戶永遠(yuǎn)不會(huì)遇到過(guò)長(zhǎng)的加載時(shí)間或停機(jī)時(shí)間。
- 縮放會(huì)根據(jù)當(dāng)前需求自動(dòng)發(fā)生,因此無(wú)需不斷地管理環(huán)境和手動(dòng)調(diào)整資源。
- 超大規(guī)模計(jì)算利用規(guī)模經(jīng)濟(jì)來(lái)降低基礎(chǔ)設(shè)施、電力和冷卻成本。如果您想外包超大規(guī)模服務(wù),請(qǐng)期望您的服務(wù)水平協(xié)議 (SLA)中的條款比您從典型數(shù)據(jù)中心獲得的條款更好。
- 向上和向下擴(kuò)展的能力確保您避免任何不必要的開(kāi)銷。
- 高度自動(dòng)化使內(nèi)部團(tuán)隊(duì)無(wú)需維護(hù)和升級(jí) IT 系統(tǒng)。組織釋放內(nèi)部資源用于其他業(yè)務(wù)途徑,例如創(chuàng)新和創(chuàng)收。
- 您可以訪問(wèn)范圍廣泛的按需計(jì)算資源(存儲(chǔ)、處理能力、網(wǎng)絡(luò)帶寬等)。該團(tuán)隊(duì)可以不受傳統(tǒng)計(jì)算基礎(chǔ)架構(gòu)的限制,快速部署新的應(yīng)用程序和服務(wù)。
- 由于超大規(guī)模數(shù)據(jù)中心擁有比典型數(shù)據(jù)中心更多的服務(wù)器,因此這些設(shè)施將工作負(fù)載分配到更多設(shè)備上以避免出現(xiàn)過(guò)熱問(wèn)題。工作負(fù)載往往比傳統(tǒng)托管環(huán)境更加平衡。
- 超大規(guī)模計(jì)算可輕松應(yīng)對(duì) AI、ML 和IoT等尖端技術(shù)的高級(jí)處理挑戰(zhàn)。
- 雖然超大規(guī)模系統(tǒng)中的所有服務(wù)器都是相同的,但其中的虛擬機(jī)卻不同。用戶選擇操作系統(tǒng)和首選編程語(yǔ)言,因此團(tuán)隊(duì)可以創(chuàng)建適合其用例的自定義系統(tǒng)。
對(duì)于大多數(shù)用例來(lái)說(shuō)太多了,但對(duì)于某些用例來(lái)說(shuō)是唯一的托管選項(xiàng)
超大規(guī)模是一項(xiàng)昂貴且復(fù)雜的技術(shù),大多數(shù)組織無(wú)法負(fù)擔(dān)或無(wú)法從中受益(通常兩者兼而有之)。但是,特定的大規(guī)模用例(如云服務(wù)或社交媒體)只能通過(guò)超大規(guī)模計(jì)算高效運(yùn)行。沒(méi)有其他設(shè)置可以滿足他們令人難以置信的可擴(kuò)展性要求,因此隨著世界聯(lián)系越來(lái)越緊密以及公司對(duì)數(shù)據(jù)中心外包越來(lái)越滿意,預(yù)計(jì)會(huì)看到更多的超大規(guī)模。